Phố Cầu Gỗ là con phố khá lâu đời, có từ thời kinh thành Thăng Long có 36 phố phường thế kỷ XV. Phố được xây trên nền đất của hai thôn cổ là Hương Minh và Nhiễm Thượng, đều thuộc tổng Hữu Túc, huyện Thọ Xương.

Phố được đặt tên là Cầu Gỗ vì con phố có một cây cầu bắc qua con lạch nhỏ nối hai hồ Thái Cực (hay còn gọi là hồ Hàng Đào, đã bị Pháp lấp đi để xây nhà) và Hoàn Kiếm lại với nhau. Thời cổ, đây là phố cho các học trò trọ xung quanh đến ăn cơm. Đến thời Pháp thuộc, phố mang tên Rue du Pont en bois (nghĩa vẫn là Cầu Gỗ), là con phố chính của Hà Nội cổ. Các ngôi nhà trên phố lúc đấy đều được xây theo kiểu cổ, một tầng và có gác xép.

Phố Cầu Gỗ xưa bán sơn và các loại dầu cung cấp cho Hà Nội.